import json
import time
from selenium import webdriver

#  虎牙

class HuyaSpider():
    def __init__(self):
        self.url= 'https://www.huya.com/l'
        # 实例化一个浏览器对象
        self.driver = webdriver.Chrome()

    # 3 提取数据 ，提取下一页元素
    def get_conent_list(self):
        li_list = self.driver.find_elements_by_xpath('//ul[@class="live-list clearfix"]/li')
        content_list = []
        for li in li_list:
            item = {}
            # 房间名
            item['房间名'] = li.find_element_by_xpath('.//a[2]').text
            # 主播名
            item['主播名'] = li.find_element_by_xpath('.//span/i[@class="nick"]').text
            # 观众
            item['观众'] = li.find_element_by_xpath('.//span/i[@class="js-num"]').text
            # 直播类别
            item['直播类别'] = li.find_element_by_xpath('.//span[@class="game-type fr"]/a').text
            print(item)
            content_list.append(item)
        # print(content_list)

        # 获取下一页元素
        next_url = self.driver.find_elements_by_xpath('//a[@class="laypage_next"]')
        next_url = next_url[0] if len(next_url) > 0 else None
        return content_list, next_url

    # 4 保存数据
    def save_content_list(self, content_list):
        with open('虎牙.txt', 'a', encoding='utf-8') as f:
            f.write(json.dumps(content_list, ensure_ascii=False, indent=2))



    def run(self):
        # 1 star-url
        # 2 发送请求 获取响应
        self.driver.get(self.url)
        # 3 提取数据 ，提取下一页元素
        content_list, next_url = self.get_conent_list()
        # 4 保存数据
        self.save_content_list(content_list)
        # 5 点击下一页元素， 循环 3， 4， 5（提取数据，保存数据， 点击下一步）
        while next_url is not None:
            next_url.click()
            time.sleep(5)
            content_list, next_url = self.get_conent_list()
            self.save_content_list(content_list)


if __name__ == '__main__':
    huya = HuyaSpider()
    huya.run()









